Sinh ngày 1 tháng 5 năm 1925 tại Boulder, Colorado, Carpenter chuyển đến New York City cùng với bố mẹ Marion Scott Carpenter và Florence Kelso Carpenter trong 3 năm đầu đời. Cha của ông đã được trao một bài nghiên cứu sau tiến sĩ tại Đại học Columbia. Vào mùa hè năm 1927, Scott trở lại Boulder cùng mẹ, sau đó bị bệnh lao. Ông được nuôi nấng bởi ông bà ngoại của ông ta trong nhà của gia đình ở góc đường Aurora và phố Seventh, cho đến khi tốt nghiệp trường trung học Boulder vào năm 1943.[2] Người ta cho rằng Carpenter đã đặt tên cho tàu vũ trụ "Aurora 7" theo tên đại lộ Aurora, nhưng ông đã phủ nhận điều này.[3]

Anh là một Hướng đạo sinh và kiếm được thứ hạng của Hướng đạo sinh hạng 2.[4]